Từ năm 1995 đến năm 1998, ông làm trưởng phòng Phòng kiểm sát điều tra án trị an - an ninh Viện kiểm sát nhân dân tỉnh Hà Tây.[3]

Sau đó, ông làm viện phó, rồi Viện trưởng Viện kiểm sát nhân dân tỉnh Hà Tây.[3]

Nguyễn Hải Phong là Đại biểu Quốc hội Việt Nam khóa 11 nhiệm kì 2002-2007 thuộc đoàn đại biểu tỉnh Hà Tây, Viện trưởng Viện kiểm sát nhân dân tỉnh Hà Tây. Lúc này ông có trình độ Thạc sĩ Luật.[4]

Tháng 4 năm 2007, ông là Vụ trưởng Vụ thực hành quyền công tố và kiểm sát điều tra án ma túy Viện kiểm sát nhân dân tối cao.[3]

Ngày 4 tháng 4 năm 2012, tại Phủ Chủ tịch, Chủ tịch nước Trương Tấn Sang đã trao cho ông quyết định bổ nhiệm phó viện trưởng Viện kiểm sát nhân dân tối cao. Lúc này ông đang là Ủy viên Ủy ban kiểm sát, Cục trưởng Cục Điều tra Viện kiểm sát nhân dân tối cao.[6][7] Ông trực tiếp phụ trách công tác: Thực hành quyền công tố và kiểm sát điều tra án hình sự về trật tự xã hội (Vụ lA); công tác điều tra tội phạm về xâm phạm hoạt động tư pháp (Cục điều tra); công tác kiểm sát việc tạm giữ, tạm giam, quản lý và giáo dục người chấp hành án phạt tù (Vụ 4); công tác kiểm sát thi hành án (Vụ l0). Ông phụ trách Viện kiểm sát nhân dân các tỉnh miền Núi phía Bắc, gồm: Cao Bằng; Lạng Sơn; Lào Cai; Hà Giang; Sơn La; Lai Châu và Điện Biên.[8]

Ngày 13 tháng 4 năm 2015, Chủ tịch nước Việt Nam Trương Tấn Sang ký Quyết định bổ nhiệm chức danh Kiểm sát viên Viện kiểm sát nhân dân tối cao cho Nguyễn Hải Phong, Phó Viện trưởng VKSNDTC.[9]

Ngày 11 tháng 11 năm 2016, Ban Bí thư Trung ương Đảng Cộng sản Việt Nam đã ban hành Quyết định số 393-QĐNS/TW chỉ định ông làm Phó Bí thư Ban cán sự đảng Viện kiểm sát nhân dân tối cao.[10][11]

Ngày 29 tháng 6 năm 2018, Chủ tịch nước Việt Nam Trần Đại Quang kí quyết định cho Nguyễn Hải Phong thôi giữ chức vụ Phó Viện trưởng thường trực VKSND tối cao, nghỉ công tác, hưởng chế độ hưu trí từ 1 tháng 7 năm 2018 (Quyết định số 1095/QĐ-CTN ngày 29/6/2018).[12][13]